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模糊 C- 均 值 聚 类 引导 的 Kinect 深度 图 像 修 复 算法 “ 
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jj 要 : 针对 Kinect 传感器 所 采集 的 深度 图 像 中 存在 大 面积 空洞 的 问题 ， 提 出 了 一 种 模糊 C- 均 值 聚 类 引导 的 深度 图 像 
修复 工法。 该 算法 将 同步 获取 的 彩色 图 像 和 深度 图 像 作为 输入 ; 利用 模糊 C- 均 值 聚 类 工法 对 彩色 图 像 进行 聚 类 ， 聚 类 
结果 作为 引导 图 像 ; 然后 对 每 个 深度 图 像 中 的 大 面积 空洞 区 域 ， 利 用 改进 的 快速 行进 算法 ， 从 空洞 边缘 向 空洞 内 部 逐 
层 修复 空洞 区 域 ; 最 后 ， 利 用 改进 的 双边 滤波 算法 去 除 图 像 中 的 散 粒 噪声 。 实 验 表明 该 算法 能 有 效 修复 Kinect 深度 图 
像 中 的 空洞 ， 修 复 后 的 图 像 在 平滑 度 和 边缘 强度 上 优 于 传统 算法 。 
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Kinect depth map inpainting under fuzzy C-mean clustering guidance 
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(1. School of Electrical Engineering, Zhengzhou University, Zhengzhou 450001, China; 2. Henan Key Laboratory of Brain 
Science & Brain-Computer Interface Technology, Zhengzhou University, Zhengzhou 450001, China) 


Abstract: Considering the problem that large holes in the depth map captured by Kinect, an algorithm for inpainting holes in 
depth map under fuzzy C- means clustering guidance was proposed. Firstly, color image and depth map were simultaneously 
obtained as input. Then the proposed method used fuzzy C-means clustering algorithm for color image, image clustering results 
as a guiding image. For the large holes in the depth map, the proposed method used the improved fast marching algorithm to 
inpaint the holes from the edge to the internal layer. For the discrete void points, the algorithm inpainted them by using the 


improved bilateral filtering. Experiments show that the algorithm can effectively inpaint holes in depth map captured by Kinect, 


and the restored depth map are superior to the depth map restored by the traditional algorithms in smoothness and edge strength. 


Key words: depth image; hole inpainting; fuzzy-c mean algorithm; clustering; fast marching method 


的 缺损 区 域 ， 这 种 方法 对 单 幅 图 像 中 小 区 域 空洞 和 简单 结构 有 

较 好 的 修复 效果 ， 但 是 对 大 面积 空洞 或 纹理 复杂 的 图 像 ， 修 复 

近年 来 ， 深 度 信息 在 人 机 交互 趾 ， 三 维 场景 重建 外 ，3D F] 效果 不 理想 。 文 献 [6] 提 出 了 基于 空间 域 的 高 斯 滤波 ， 用 邻 域 内 

印 BI 等 计算 机 视觉 领域 有 着 重要 的 应 用 。 微 软 公司 的 Kinect 作 ”像素 的 加 权 平 均值 去 蔡 代 模板 中 心 像素 点 的 值 ， 该 方法 只 考虑 

为 一 款 廉价 的 深度 传感器 能 够 获取 被 测 场景 的 深度 图 像 和 同步 。 到 了 像素 点 的 空间 信息 ,容易 造成 图 像 中 物体 边缘 信息 的 丢失 。 

的 彩色 图 像 ， 得 到 越 来 越 多 研究 人 员 的 关注 。 但 是 由 于 其 自身 而 文献 [7,8] 提 出 了 基于 双边 滤波 (bilateral filter, BF) 的 改进 算法 
X 


成 像 原理 的 限制 ，Kinect 获取 的 深度 图 像 存 在 深度 信息 缺失 同时 考虑 了 像素 点 的 空间 信息 和 值 域 信 息 ， 像 素 之 间 的 距离 和 


I 


cr 


R, 包括 遮挡 造成 的 黑色 空洞 区 域 , 图 像 光学 噪声 和 内。 为 了 获取 ”像素 差 值 共 同 决定 了 权 值 的 大 小 ， 该 方法 能 够 很 好 地 保护 图 像 
高 质量 的 深度 图 像 ， 改 善 Kinect 的 应 用 效果 ， 需 要 对 其 获取 的 。” 中 物体 的 边缘 ， 但 是 对 于 较 大 面积 的 空洞 区 域 ， 该 算法 可 信和 度 
深度 图 像 进行 修复 。 较 差 。 文献 [9~11] 在 双边 滤波 法 的 基础 上 , 提出 了 结合 彩色 图 像 

针对 Kinect 传感器 深度 图 像 修复 的 问题 ， 相 关 研究 人 员 提 言 息 的 联合 双边 滤波 (joint bilateral filtering, JBF) 的 空洞 修复 算 


(un 


出 了 几 类 不 同 的 修复 算法 。 文 献 [5] 基 于 水 平 集 思 想 ， 通 过 模拟 ”法 ， 该 算法 引入 了 基于 彩色 图 像 像素 差 的 权 值 ， 虽 然 能 够 修复 
水 波 在 水 面 的 传播 过 程 来 确定 空洞 区 域 边 缘 像 素 的 修复 顺序 ， 图 像 中 的 大 部 分 空洞 ， 但 是 该 算法 未 考虑 物体 边缘 处 深度 不 连 
结合 快速 行进 算法 (fast marching method，FMM) 来 修复 图 像 中 续 ， 易 产生 过 度 平 滑 的 效果 ， 且 采用 单一 的 滤波 参数 修复 整 幅 
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深度 图 像 具 有 较 大 的 盲目 性 。 文 献 [12] 提 出 一 种 基于 聚 类 思想 
的 K-means 修复 算法 , 该 算法 对 灰 度 化 后 的 彩色 图 像 进行 聚 类 ， 
通过 聚 类 图 像 在 深度 图 像 中 找 出 匹配 空洞 信息 的 像素 点 ， 用 该 
点 的 深度 值 作为 空洞 处 的 深度 值 ，k-means 聚 类 算法 作为 一 种 
硬 分 类 方法 ， 每 个 样本 属于 某 一 类 的 结果 只 有 0，1 两 种 情况 ， 
所 以 仅 以 距离 最 近 像素 点 深度 值 为 空洞 填充 值 的 方法 出 错 率 较 
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13 聚 类 引导 图 

本 文 使 用 聚 类 后 的 彩色 图 像 作为 修复 深度 图 像 的 引导 图 。 
彩色 图 像 的 每 个 像素 值 是 由 RGB 颜色 空间 决定 的 ， 每 一 个 像 
素 点 的 值 就 是 一 个 样本 点 。 聚 类 能 够 将 获得 像素 缺失 区 域 的 局 
部 信息 ， 以 及 不 同 像素 点 之 间 的 相关 性 信息 。 本 文 使 
用 的 聚 类 方法 是 一 种 模糊 聚 类 算法 -FCM 算法 。 模 糊 聚 类 
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大 。 文 献 [13,14] 基 于 多 种 角度 或 多 帧 图 像 对 采集 的 图 像 背景 进 
行 提取 从 而 达到 图 像 的 修复 ， 这 类 方法 的 修复 效果 明显 、 可 信 
度 较 高 ， 但 对 单 帧 图 像 无 法 进行 有 效 的 处 理 。 
针对 Kinect 深度 图 存在 大 量 空洞 ， 而 传统 算法 没 能 有 效 利 
用 彩色 图 像 提供 的 全 局 信息 和 邻 域 关 系 ， 不 能 有 效 分 割 物体 边 
缘 , 易 产生 过 平滑 的 现象 ,影响 深度 图 的 修复 效果 的 这 一 问题 ， 
本 文 提出 一 种 模糊 C- 均 值 聚 类 引导 的 深度 图 像 修复 算法 。 该 算 
法 联合 彩色 图 像 聚 类 信息 和 原始 深度 图 ， 利 用 改进 的 快速 行进 
法 和 改进 的 双边 滤波 算法 来 修复 深度 图 像 中 的 空洞 像素 点 。 


1 ”算法 框架 


本 文 提 出 的 算法 基本 思路 是 : 首先 通过 Kinect 获得 对 齐 的 
彩色 图 像 和 深度 图 像 作为 输入 ， 如 图 1(a)(b) 所 示 ， 然 后 对 彩色 
图 像 进行 模糊 C- 均 值 聚 类 得 到 每 个 像素 点 对 于 各 个 类 的 隶属 
度 ， 生 成 聚 类 引导 图 。 针 对 深度 图 像 中 存在 的 大 面积 深度 缺失 
区 域 ， 基 于 快速 行进 算法 ， 对 原 像 素 估计 公式 中 的 权重 项 进行 
改造 ， 加 入 隶属 度 因 子 ， 对 缺失 像素 进行 深度 估计 ， 最 后 ， 针 
对 依然 存在 的 噪声 点 ， 基 于 传统 双边 滤波 修复 算法 ， 加 入 彩色 
图 像 提供 的 信息 ， 对 双边 滤波 算法 进行 改进 ， 用 该 方法 去 噪 ， 
得 到 最 终 的 修复 后 的 图 像 。 本 文 提出 算法 的 框架 如 图 2 Bros 


(a) 彩 色 图 像 


图 1 带 有 空洞 点 的 深度 图 


Kinect 


传感器 


DS 


2 JUN] C- 均 值 聚 类 引导 的 深度 图 像 空 洞 修复 框架 


就 是 用 模糊 数学 的 方法 ， 把 样本 之 间 的 模糊 关系 定量 ， 从 而 客 
观 准确 地 进行 聚 类 ， 使 得 各 个 类 之 间 的 数据 差别 应 尽 可 能 

类 内 之 间 的 数据 差别 应 尽 可 能 小 ， 即 最 小 化 类 间 的 相似 性 ， 最 
大 化 类 内 的 相似 性 ,. FCM 算法 是 一 种 应 用 最 广泛 且 较 成 功 的 模 
糊 聚 类 方法 。 它 通过 优化 目标 函数 得 到 每 个 样本 点 对 所 有 类 中 
心 的 隶属 度 ， 从 而 决定 样本 点 的 类 属 以 达到 对 样本 进行 分 类 的 
目的 。 

FCM 算法 优越 于 传统 硬 C 均值 聚 类 算法 在 于 隶属 度 可 以 
连续 取 值 于 [0,1]， 考 虑 到 了 样本 属于 各 个 类 的 “ 亦 此 亦 彼 "性 ， 
能 够 对 类 与 类 之 间 样 本 有 重 炙 的 数据 集 进行 分 类 ， 有 具有 良好 的 
收敛 性 ;而且 FCM 算法 复杂 度 低 ， 易 于 实现 。 

FCM 算法 主要 是 比较 每 个 样本 点 与 每 个 类 的 中 心 点 值 , 最 
终 给 每 个 像素 指派 一 个 值 (0-1 之 间 ), 说 明 该 像素 更 接近 于 哪个 
类 的 中 心 点 ， 模 糊 规则 是 该 像素 的 隶属 度 对 所 有 类 的 值 之 和 为 
1。 


假定 有 数据 集 为 Y ， 如 果 把 这 些 数据 分 为 c 类 的 话 ， 那 么 
就 有 < 个 类 中 心 为 y=[v,.…wv.] REE X 属于 某 一 类 ; 的 隶属 度 
为 u;， 定 义 一 个 FCM 目标 函数 式 (1) 及 其 约束 条 件 式 (2) 如 下 : 

J= $u VPE 0) 


i=l j=l 


Xu =1,j=1,2..,7 2) 
i=l 


在 式 (2) 的 约束 条 件 下 , 可 以 求 得 式 (1) 中 


标 函 数 取 极 小 值 


时 相应 的 隶属 度 矩 阵 和 聚 类 中 心 。 对 各 变量 求 偏 导 ， 并 令 偏 导 
数 为 0， 联 立 求 得 模糊 隶属 度 和 聚 类 中 心 为 
n 1 
”~ lx; -vi Il GÀ) (3) 
k-l l| x; — v, Il 
NC 
y, = = „Yi, j, i=1,2,3,..,c and j=1,2,3,..,n (4) 
3 


根据 FCM 的 基本 原理 ， 总 结 出 该 算法 的 步骤 如 下 : 

a) 设置 目标 函数 的 精度 e， 模糊 指数 m (m 通常 取 2) 和 算 
法 最 大 迭代 次 数 ; 

b) 初始 化 隶属 度 和 矩阵 u, 或 聚 类 中 心 y; 

c) 由 式 (3)(4) 更 新 模糊 划分 矩阵 u, 和 聚 类 中 心 y; 

d) 若 目 标 函 数 |J(D-Jd+D| <e MARAR: FU, D 
转 执 行 c) 

e) 根据 所 得 到 的 隶属 度 矩 阵 , 取样 本 隶属 度 最 大 值 所 对 应 
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类 作为 样本 聚 类 的 结果 ， 聚 类 结束 。 
为 了 获得 在 不 同 聚 类 数 下 的 聚 类 有 效 性 ， 寻 找 最 佳 的 
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始 边界 的 距离 大 小 来 决定 下 一 个 修复 的 像素 点 ， 距 离 初始 边界 
最 近 的 点 最 先 得 到 修复 。 这 里 用 到 FMM 算法 来 求解 空洞 像素 


E 
结果 ,这 里 使 用 Xie-Beni 指标 03 来 对 聚 类 结果 进行 评价 。 其 定 


CX m z 
Yu | vi =X; | 


Va (U,V, c) = L2 e) 


nxmin||v, =v; |f 

由 上 式 可 知 ， 类 内 数据 相似 性 越 大 ， 类 与 类 之 间 的 分 离 度 
BRA, Vo 的 值 越 小 ， 分 类 结果 越 好 。 当 指定 聚 类 数 CI RE 
[c，,c 时， 可 以 由 上 面 的 指标 找到 最 佳 聚 类 数 。 对 于 不 同 场 
景 的 彩色 图 ， 利 用 Xie-Beni 指标 能 够 自动 选取 最 佳 的 c 值 。 

对 图 像 做 FCM 聚 类 并 由 Xie-Beni 指标 选择 最 佳 的 聚 类 数 
目 ， 得 到 各 个 像素 点 对 应 各 个 聚 类 中 心 的 隶属 度 ， 将 隶属 度 归 
一 化 到 灰 度 空 间 ， 生 成 聚 类 引导 图 。 通 过 聚 类 之 后 的 彩色 图 ， 
其 高 纹理 区 域 的 纹理 细节 降低 ， 边 缘 细节 更 加 明显 ， 可 见 彩色 
图 像 的 聚 类 信息 能 够 为 空洞 像素 的 估计 起 到 指导 作用 。 


图 3 聚 类 引导 图 


1.2 ”基于 改进 的 FMM 算法 的 空洞 修复 

对 大 面积 空洞 的 修复 是 一 个 难点 ， 修 复出 来 的 图 像 往 往 过 
于 平滑 ， 边 缘 细节 丢失 。 本 文 基于 改进 的 FMM 算法 ， 按 照 每 
个 待 修复 像素 与 空洞 边界 的 距离 大 小 来 确定 修复 顺序 ， 在 修复 
边界 上 的 像素 点 的 同时 将 待 修复 区 域 的 边界 往 空洞 内 部 推进 ， 
类 似 于 人 工 修复 图 像 的 原则 。 

FMM 算法 是 由 Telea09 提 出 的 , 算法 的 基本 思想 如 下 :如 图 
4 所 示 ，O 是 图 像 中 的 待 修复 区 域 ，5 o 是 该 区 域 的 边界 ，p 
是 边界 上 一 点 , 在 p 周围 的 已 知 区 域内 选择 一 个 邻 域 B.(p) , 故 
p 点 的 像素 值 可 以 由 其 邻 域内 的 有 效 像素 来 估计 。 

?4 p 的 邻 域 足够 小 时 ， 可 以 用 以 下 公式 来 估计 空洞 点 的 深 
度 。 像 素 深度 的 估计 公式 如 下 : 

T uM 而 


其 中 :gq 是 p 点 的 邻 域 像素 ; wp. 是 权 值 函数 ， 用 来 衡量 已 知 


CE 


像素 点 q 对 估计 未 知 像素 点 p 的 贡献 大 小 ; D, 表示 点 q 的 深度 ; 
VD, 代表 像素 点 4 的 梯度 ,用 来 衡量 p 点 与 邻 域 像素 相似 程度 。 


在 对 空洞 区 域 进行 修复 时 需要 不 断 迭 代 上 面 的 公式 ， 每 次 
迭代 仅 修复 空洞 边缘 的 像素 点 ， 使 得 空洞 区 域 不 断 收缩 ， 直 到 
空洞 被 完全 修复 为 止 。 上 述 修复 过 程 按照 待 修复 像素 点 距离 初 


点 与 边界 的 距离 7 ， 定 义 约 束 式 为 
|vr|-1 (0 


图 4 FMM 算法 修复 示意 图 


对 于 边界 上 的 像素 点 T=0。 根 据 文献 [17] 提 出 的 方法 对 上 

式 进行 求解 ， 解 了 是 待 修补 区 域内 的 像素 点 到 边界 的 距离 。 

max(D "T, —D'Ty. + max( D^T,—D'Ty =1 (8) 
其 中 : DT =T, j)-TG-1,j, DT 2TG&V D-TQ, D» y HP 
的 差分 类 似 。 

FMM 算法 能 够 确保 待 修 复 区 域 边 界 上 像素 点 按照 其 距离 
初始 边界 的 大 小 顺序 依次 处 理 ， 利 用 式 (6) 进 行 深度 估计 。 

相 比 于 彩色 图 像 ， 深 度 图 像 提 供 的 信息 量 较 少 ， 因 此 可 以 
利用 彩色 图 像 的 颜色 相似 性 对 缺失 的 深度 图 像 像素 点 进行 估计 。 
由 于 彩色 图 像 对 深度 图 像 的 填补 起 着 引导 作用 ， 本 文 针 对 深度 
图 像 中 的 大 面积 空洞 区 域 ， 对 传统 的 FMM 算法 进行 了 改进 。 
将 彩色 图 像 的 聚 类 信息 引入 到 缺失 深度 点 的 估计 中 去 ， 结 合 聚 
类 引导 图 对 式 (6) 中 的 权重 项 进行 改造 。 根 据 待 修 复 像 素 点 与 邻 
域内 的 有 效 像素 的 相关 性 ， 通 过 构造 权 值 函数 来 确定 相关 性 大 
小 ， 有 具体 改进 方法 : 

结合 双边 滤波 器 的 设计 形式 ， 将 权重 设计 为 两 个 权重 因子 


的 乘积 。 两 个 权重 因子 分 别 为 
1) 空 间 邻 近 度 因子 
2 
v (a) zop SE (9) 
2) 隶 属 度 因 子 
Il us, Ua I 
5, B 
w,(p.q) = exp( 25i » qeB, (10) 
5—argmax(u,), i=1,2,...,C (11) 


其 中 :| e jp 表示 欧 氏 距离 ;, p ,4 分 别 表示 待 修复 像素 点 及 其 令 
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域 像 素 点 的 坐标 ， 空 间 邻 近 度 因子 w, (p,q) 和 隶属 度 因 子 都 服 
从 高 斯 分 布 ， 方 差分 别 为 5 、5. ; 在 隶属 度 因子 中 ，s 表示 像 
RA p 的 最 大 隶属 度 所 对 应 的 类 ; 则 u, 表示 像素 点 gq 对 于 类 
的 隶属 度 ; c 为 聚 类 类 别 数 。 

因此 ， 式 (6) 的 权重 项 为 

w(p.q) 7 w,(p.a)w,(p.a) (12) 

从 式 (9) 和 (10) 可 以 看 出 , 对 于 待 修 复 区 域 边缘 上 的 一 点 p, 
其 邻 域内 的 一 点 g BS p 越 近 对 p 的 贡献 越 大 , 隶属 度 越 接 近 p, 
XJ p 的 贡献 越 大 。 所 以 p 点 的 估计 值 是 由 邻 域 内 有 效 像素 的 空 
间距 离 和 隶属 度 差异 共同 决定 的 。 

改进 的 FMM 算法 伪 代 码 实现 如 下 所 示 : 
改进 的 FMM 算法 


1: 92 是 带 修补 区 域 的 边缘 ， 乙 是 带 修 补 的 空洞 像素 
2: while 0Q 非 空 

3: p(x,y) —head(NarrowBand); 

4: for(mn) in(re-ly) Qut»  Q-Ly)» — Quy-1) 


5: ”fflag(m,n) 不 等 于 KNOWN 
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LÁ 


xc 


些 方法 虽然 能 够 平滑 图 像 ， 但 是 往往 使 图 像 中 物体 的 边缘 变 
模糊 ， 丢 失 大 量 的 有 用 信息 。 而 基于 高 斯 滤波 方法 提出 

波 的 同时 考虑 到 图 像 信息 中 的 图 像 边缘 信息 ， 
像 在 正常 高 斯 滤波 后 很 模糊 的 边缘 信息 得 以 保持 清晰 ， 并 且 医 
像 边缘 更 加 平滑 。 此 方法 对 于 彩色 和 灰 度 图 像 的 滤波 均 适 用 ， 


具有 很 强 的 实用 性 。 双 边 滤波 公式 如 下 : 
200] Na 

D,=— E Dy (pai), (p,qi) 3) 
w=} w,(p.ai)w,(p.ai) (14) 

i; ID, - D; IÈ 
w,(p.qi) = expt 287 ) (15) 

E 
v (sai) cepi LECCE ) (16) 


对 于 深度 图 中 的 一 点 p ，D, 为 其 深度 值 ，D, 是 滤波 处 理 
后 像素 点 的 估计 值 ， N* N 为 待 修 复 像素 点 的 邻 域 窗口 大 小 ; 
D,, 是 窗口 中 像素 点 qi 的 深度 值 ; [| e [P 表示 欧 氏 距离 ; 亮度 相 


6: if flag(m,n) 5E F INSIDE 似 度 因子 w (p. qi) 和 空间 邻近 度 因子 w (p,qi) 都 服从 高 斯 分 
T: flag (m, n) —BAND 布 ， 方 差分 别 为 5 、5, w 为 归 一 化 常数 。 
8: inpaint (m,n) 双边 滤波 器 的 加 权 系 数 是 空间 邻近 度 因子 w 和 亮度 相似 
9; end if 度 因子 w, 的 乘积 。 像 素 点 与 中 心 点 之 间 欧 氏 距 离 越 大 ,空间 邻 
10; T(m,n)e-min(solve(x-1,y,x.y-1), 近 度 因子 越 小 ,两 像素 亮度 值 之 差 越 大 ,亮度 相似 度 因 子 越 小 。 
11; solve(x-1,y,x,y+1), 在 图 像 变 化 平缓 的 区 域 ， 邻 域内 像素 亮度 值 接近 ， 此 时 双边 滤 
12: solve(x+1,y,x,y-1), 波 类 似 于 高 斯 低 通 滤波 器 ; 在 图 像 变化 剧烈 的 区 域 ， 滤 波 器 利 
13: solve(c* Ly x y*1)) 用 边缘 点 附近 亮度 值 相近 的 像素 点 的 平均 亮度 值 代替 原 亮度 值 。 
14: insert(m,n) in BAND 因此 ， 双 边 滤波 器 既 平滑 滤波 了 图 像 ， 又 保持 了 图 像 的 边缘 。 
15: endif 为 了 提高 图 像 的 修复 精度 ， 平 滑 深度 数据 ， 本 文 在 传统 双 
16: end for 边 滤波 方法 的 基础 上 ， 引 入 彩色 图 像 提 供 的 信息 ， 提 出 改进 的 
17: end while 双边 滤波 算法 ， 用 该 方法 去 除 图 像 中 的 噪声 。 将 原 空 间 邻 近 度 
首先 将 像素 分 为 三 类 ， 用 flag 标志 记录 : BAND: 其 实 就 ”” 蔡 换 为 隶属 度 因 子 : 

Ago 上 的 像素 ， KNOWN: 就 是 M 外 部 不 需要 修复 的 像素 ; lu, -u |P 

p "— s s w, (p.i) = exp(- ————— (17) 
INSIDE: 就 是 w 内 部 的 等 待 修复 的 像素 。p 为 边界 上 7 值 最 小 20, 
的 像素 点 ，NarrowBand 为 定义 的 数据 结构 , 用 来 存放 边界 上 的 改进 的 双边 滤波 公式 如 下 : 
像素 点 ， 按 照 了 值 升序 排列 。Head 函数 用 来 提取 NarrowBand TET 
中 六 值 最 小 的 像素 点 。inpaint 函数 采用 式 (6) 进行 填充 。 算 法 Bw E Dos (pq) (ai), D, =0 (18) 
先 处 理 NarrowBand 中 了 值 最 小 的 像素 点 ， 假 设 为 p 点， 将 p D,, D, #0 
点 类 型 改 为 KNOWN, 然 后 依次 处 理 p Ex UU Ex pi 。 如 果 其 中 : 
pi 类 型 为 INSIDE， 若 是 则 重新 计算 7 ， 修 复 该 点 ， 并 更 新 其 Ne 
太 值 ,修改 该 点 类 型 为 BAND, 加 入 NarrowBand( 这 里 仍 按 顺序 ， w= Zon(rsa)w (nat) en 
即 始终 保持 NarrowBand 是 按 升序 排列 的 )。 依 次 进行 ， 每 次 处 本 文 改 进 的 双边 滤波 算法 只 针对 深度 图 中 的 空洞 像素 点 ， 
里 的 都 是 NarrowBand 中 了 最 小 的 像素 , 直到 NarrowBand 中 没 ë 对 其 采用 式 (18) 进 行 像素 填充 ， 用 其 邻 域内 的 有 效 像素 点 来 估 


有 像素 。 
1.3 ARAR 

经 过 改进 的 FMM 算法 修复 能 够 深度 图 中 大 部 分 的 空 
但 是 依然 存在 一 些 散 粒 噪声 ， 需 要 使 用 滤波 算法 对 图 像 进行 去 
噪 。 传 统 的 滤波 波 算法 有 高 斯 滤波 ， 均 值 滤波 ， 方 框 滤波 ， 这 


洞 点 , 


计 像 素 值 ， 不 影响 非 缺 失 区 域 的 像素 点 。 改 进 的 算法 考虑 到 了 
彩色 图 像 提 供 的 信息 ， 增 加 了 像素 点 之 间 相 似 度 的 影响 ， 也 就 
是 邻 域 的 像素 点 如 果 和 中 心 像 素 点 的 相似 度 较 高 ， 那 么 权 值 在 
高 斯 权 值 的 基础 上 增加 一 个 相对 较 大 的 权 值 ， 相 反 地 ， 如 果 相 
似 度 不 高 ,那么 权 值 在 高 斯 权 值 的 基础 上 再 加 上 一 个 小 的 权 值 。 


T 
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因此 权 值 系数 不 再 单纯 依赖 位 置 关系 ， 更 依赖 于 相似 度 关系 。 


2 ”实验 结果 与 比较 


为 了 验证 本 文 提出 


在 修复 空洞 点 的 同时 也 能 很 好 地 保留 边缘 信息 。 


的 算法 有 效 性 ,在 Windows8 操作 系统 的 PC 


机 上 进行 实验 , 硬件 配置 是 2.60GHz Inter(R) Core(TM)i5-4210M 
CPU,8GB RAM。 实 验 平台 是 Visual Studio 2013, 基 于 计算 机 视 


觉 库 Opencv3.0， 使 用 


C++ 编程 实现 。 本 文 利用 


Middlebury 库 


中 提供 的 数据 集 进行 实验 , 并 将 处 理 结果 与 JBF 算法 , FMM 算 


法 的 处 理 结果 从 主观 视觉 上 和 客观 指标 上 比较 


2.1 对 人 造 空洞 的 修复 结果 


EE mna. 


实验 1 对 正常 图 像 添 加 人 工 深度 空洞 ， 验 证 算法 对 于 仿真 
空洞 的 修复 效果 。 在 Middlebury 库 [17] 中 提供 
添加 人 造 空洞 ， 分 别 用 JBF 算法 ，FMM 算法 以 及 本 文 提 出 的 


算法 对 空洞 


区 域 进行 修复 ， 然 后 比较 修复 前 的 


的 Art 数据 集 上 


图 像 以 及 三 种 方 


法 修复 后 的 图 像 与 原始 正常 


比较 。 


给 出 三 个 算法 的 修复 结果 如 图 5 所 示 ， 表 2 


方 误差 和 峰值 信 噪 比 。 


图 像 之 间 的 差异 。 为 了 量化 修复 结 
果 ， 这 里 采用 常用 的 均 方 误差 (MSE) 和 峰值 信 噪 比 (PSNR 来 


给 出 相应 的 均 


(d) (© OD i 
图 5 三 种 算法 对 人 工 空洞 的 修复 效果 比较 ms 
从 左 到 右 , (8) 为 原始 彩色 图 , (b) 为 添加 入 工 空调 的 深度 图 ， Oo ARR 
(@) 为 空洞 区 域 局 部 放大 图 ，(d) 为 JBF 算法 的 修复 效果 ，(e) 为 
FMM 算法 的 修复 结果 ，(9 为 本 文 算法 的 修复 结果 提出 了 一 种 结合 彩色 
从 图 5 的 修复 结果 可 以 看 出 ， 在 深度 图 的 代表 性 区 域 ,经 。 区 域 填充 的 修复 算法 ,从 人 
放大 后 的 物体 边缘 处 ，JBF 算法 和 FMM 算法 虽然 能 够 保留 物 
体 的 边缘 ， 但 是 还 原 出 来 的 边缘 轮廓 很 模糊 。 而 本 文 提出 的 算 信息， 该 算法 
法 不 仅 还 原 了 物体 轮廓 ， 而 且 边 缘 更 加 清晰 ， 对 于 缺失 区 域 的 


估计 更 准 
文 算法 的 | 


局 
W 
E 
E 
E 
Q 
R3 
7 
Ao 
ES 
4a 
Es 
E 
B 
o 


JBF 算法 和 FMM 算法 。 


表 2 添加 入 工 空洞 的 Art 数据 集 MSE 和 PSNR 评价 
MSE PSNR 
算法 MSE 
降低 率 /% 提高 率 /% 

待 修复 138.0630 \ 26.7300 \ 
JBF 2.2609 98.37 44.5881 66.78 
FMM 1.7466 98.74 45.7090 70.97 
本 文 算法 0.5385 99.61 50.8186 90.09 


2.22 ”对 自然 空洞 的 修复 结果 


K T ul 


FE 本文 算法 对 


然 生 成 的 空洞 的 修复 效果 ， 实 验 2 


选取 Middlebury 库 中 提供 的 Laundry. Moebius 和 Reindeer Zi 


据 集 ， 分 别 | 


三 种 算法 对 
6 所 示 。 为 了 量化 修复 结果 ， 实 验 2 同样 计算 了 三 组 
图 的 均 方 误差 和 值 信 噪 比 ， 并 
FMM 算法 在 均 方 误差 上 的 降低 率 和 在 峰 


原始 深度 


图 进行 修复 ， 修 复 效 果 如 图 


结果 如 表 3 和 4 所 示 。 


给 出 本 文 算法 相对 于 JBF 算法 和 


图 像 与 原 


值 信 噪 比 上 的 提高 率 ， 


表 3 Laundry, Moebius 和 Reindeer 数据 集 MSE 评价 
图 像 JBF FMM 本文 算法 MSE 降低 率 /% 
Laundry 49.0468 56.2673 38.8339 20.82/30.98 
Moebius 47.6537 46.7530 33.6487 29.39/28.03 
Reindeer 53.6087 58.0440 44.8426 16.35/22.74 


表 4 Laundry, Moebius 和 Reindeer 数据 集 PSNR 评价 
本 文 PSNR 
图 像 JBF FMM b 
算法 提高 率 /% 
Laundry 31.2247 30.6282 32.2387 3.25/5.26 
Moebius 31.3498 31.4327 32.8611 4.82/4.54 
Reindeer 30.8385 30.4932 31.6139 2.51/3.68 


从 图 6 的 处 理 结果 可 以 看 
本 文 提出 算法 具有 明显 的 优势 ; 


表 4 可 以 看 出 ， 本 文 算法 相对 于 JBF 算法 和 FMM 算法 ， 


在 边缘 完整 性 以 及 边缘 强度 上 ， 
在 定量 评价 指标 上 ， 从 表 3 和 
具有 


更 小 的 均 方 误差 和 更 大 的 峰值 


本 文 针对 Kinect 采集 到 的 深 
图 像 聚 类 信息 ， 利 用 聚 类 信 
决 失 像素 点 的 邻 域 有 效 区 域 获得 该 像 
素 点 的 有 效 估计 。 实 验 结果 表明 ， 由 于 增加 了 彩 


确 。 从 均 方 误差 和 峰值 信 噪 比 两 个 评价 指标 上 看 ， 本 


鸭 方 误差 降低 了 99.61%, 峰值 信 噪 比 提高 了 90.09%。 


从 统计 结果 和 视觉 直观 效果 来 看 


， 本 文 算法 的 修复 效果 优 于 


误差 ， 


言 噪 比 ,再 次 证 明了 该 算法 的 可 


度 图 存在 大 面积 空洞 的 问题 ， 


息 来 引导 空洞 


色 图 像 提供 的 


能 够 有 效 修复 深度 中 的 空洞 ， 相 比 JBF 算法 和 
FMM 算法 ,从 视觉 上 来 看 , 该 算法 不 仅 能 恢复 出 物体 边缘 ,而 


且 边 缘 更 加 清晰 ， 从 定量 评价 


且 有 更 


前 标 上 来 看 ， 该 算法 降低 了 均 方 
高 的 峰值 信 噪 比 。 但 该 算法 还 存在 不 足 ， 由 于 


该 算法 需要 对 彩色 图 像 进行 FCM 聚 类 ， 消 耗 时 间 较 长 。 
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Laundry 


局 部 放大 图 


Laundry 


Moebius 


Moebius 局 部 放大 


Reindeer 


Reindeer 局 部 放大 图 


万 f, S: 模糊 C- 均 值 聚 类 引导 的 Kinect 深度 图 像 修复 算法 


(a) 彩 色 图 


图 6 


三 种 算法 对 Laundry、 
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